#웹 크롤러

클라우드플레어, AI 기업의 콘텐츠 무단 수집 제한 예정

클라우드플레어가 2026년 9월부터 검색과 AI 학습을 동시에 수행하는 크롤러의 접근을 기본적으로 차단하여 퍼블리셔의 지식재산권을 보호합니다. 또한 AI가 콘텐츠를 활용해 가치를 창출할 때 퍼블리셔가 수익을 분배받을 수 있는 '페이 퍼 유즈(Pay Per Use)' 모델을 도입했습니다. 이는 웹 생태계의 지속 가능성을 보장하고 AI 기업들에게 콘텐츠 사용에 대한 정당한 대가를 지불하도록 유도하는 중요한 변화입니다.

서버 지연에 사과드립니다: 악성 봇 트래픽으로 인한 접속 장애

5월 17일부터 대규모 봇 스팸 트래픽이 유입되어 서버 과부하가 발생했고, 이로 인해 데이터베이스 연결이 반복적으로 끊어지며 사이트 접속 장애가 발생했습니다. 호스팅 제공업체의 차단 조치로 일부 정상 이용자의 접속까지 제한되는 등 우여곡절을 겪은 끝에, 현재 근본적인 해결책을 전속력으로 모색 중입니다. 특히 Perplexity 같은 AI 크롤러 봇의 무차별적 데이터 수집이 주요 원인으로 지목되며, 향후에도 단기적인 장애가 불가피할 수 있어 IT 실무자 및 구독자들의 주의가 필요합니다.